Tư Mã Nhạc sinh vào năm 322 và là con trai thứ hai của Tấn Minh Đế và Hoàng hậu Dữu Văn Quân. Sau khi phụ thân qua đời năm 325 và anh trai Tư Mã Diễn lên kế vị, ông được phong làm Ngô vương vào năm 326. Năm 327, do thúc phục là Lang Tà vương Tư Mã Dục muốn nhường cho tước hiệu được cho là vinh dự hơn, Tư Mã Dục trở thành Hội Kê vương và Tư Mã Nhạc được lập làm Lang Tà vương. Người ta không rõ Tư Mã Nhạc đã ở đâu khi diễn ra Loạn Tô Tuấn vào năm 326–328, ông có bị bắt giữ và trở thành con tim giống hoàng huynh hay không, ở đất Ngô hay nơi nào khác. Dưới thời hoàng huynh trị vì, ông không xuất hiện để thực sự tham gia vào quá trình ra các quyết định trọng yếu.

Vào mùa hè năm 342, Thành Đế lâm bệnh nặng. Ông có hai người con trai là Tư Mã Phi và Tư Mã Dịch, khi ấy vẫn còn nằm trong nôi, với người thiếp Chu quý nhân. Dữu Băng (zh) (quan nhiếp chính và cậu ruột) sợ rằng nhà họ Dữu sẽ mất đi quyền lực nếu một vị hoàng đế trẻ được định nên đã thuyết phục Thành Đế rằng trong lúc Đông Tấn đang phải đối mặt với một Hậu Triệu có thế lực mạnh mẽ thì nền chỉ định một vị hoàng đế lớn tuổi hơn. Thành Đế đồng ý và chỉ định em trai mình, Tư Mã Nhạc làm người kế vị, bất chấp phản đối từ Hà Sung (蔡謨), một quan nhiếp chính khác. Thành Đế đã qua đời ngay sau đó và Tư Mã Nhạc lên kế vị.